Week 10 · Part III · 五範式 RPS 第二棒

W10 用 ML / DL 完成猜拳辨識

上週 W9 用古典規則法做 RPS,看到 60-80% 的天花板。本週同一個題目換三種「會學的方法」:HoG+SVM、Tiny CNN、MobileNetV2,正確率衝到 90%+。學完後你會理解:「特徵由演算法從資料學出來」比手刻好多少、代價是什麼。

本週要做的事

順序內容預估時間
1Ch.1 從規則法到會學的方法(課程定位)10 min
2Ch.2 研究 vs 功能實作(研究生最該分清的事)15 min
3Ch.3 評估指標完整講解(Accuracy / F1 / Confusion Matrix / Latency)25 min
4Ch.4 資料集與前處理(Colab)20 min
5Ch.5 路線 B:HoG + SVM(訓練 + Android Chaquopy 部署)30 min
6Ch.6 路線 C:Tiny CNN(訓練 + Colab Local Runtime 部署)30 min
7Ch.7 路線 D:MobileNetV2 Transfer Learning30 min
8Ch.8 兩種部署平台對比與工程意義15 min
9Ch.9 三方法 × 傳統 CV 系統實測對比(研究級)10 min
10Ch.10 作業 + 常見錯誤排除15 min

教材檔案

  • 📂 MLDL_RPS.pptx (原始檔) 核心投影片
    93 張,10 章節。※ PPT 待轉 PDF 後可線上檢視
  • 📖 MLDL_RPS_講義.pdf 講義 PDF
    28 頁配套講義,文字版重點 highlight。
  • 共用 notebooks (shared/notebooks/):
    • 猜拳辨識(ML&DL訓練模型).ipynb — 主要參考
    • 猜拳辨識(基礎CNN訓練).ipynb
    • 猜拳辨識(三類_rps_修正版).ipynb
    • 手勢辨識_MobileNetV2_RGB強化版.ipynb
  • 共用模型 (shared/assets/models/):
    • hog_svm_rps.pkl — HoG+SVM 預訓練
    • rps.tflite — Tiny CNN
    • rps_mobilenetv2.tflite — MobileNetV2

本週三條路

路線 B|傳統 ML

  • HoG + SVM
  • 手工特徵 + 學習式決策邊界
  • 部署:Android Chaquopy
  • 正確率預期 80-90%
  • 模型很小 (~50 KB)

路線 C|深度學習

  • Tiny CNN 自訓
  • 特徵與決策邊界都由資料學
  • 部署:Colab Local Runtime + Webcam
  • 正確率 85-92%
  • 模型約 8 MB

路線 D|遷移學習

  • MobileNetV2 Transfer Learning
  • 用大資料集預訓練特徵 + RPS 微調
  • 部署:同上
  • 正確率 92-97%
  • 模型 8.9 MB

研究 vs 功能實作(研究生最該分清的事)

本週是整門課第一次正式把「研究方法論」滲透進教學。從 W10 起,每週都會要求學生:
  • 至少報告一個評估指標(不只 accuracy)
  • 至少對比一個 baseline(本週 baseline = W9 規則法)
  • 含 Confusion Matrix
功能實作研究級報告
目標跑得起來跟世界對話
正確率「我看起來還行」定量 + Confusion Matrix + 失敗分析
實驗跑一次就交多 seed + 區間估計
對比無跟 baseline / SOTA 比
輸出能跑的 APK能投 paper 的報告

兩種部署平台(工程取捨)

本週的工程小發現:不是所有 ML/DL 模型都能直接放上 Chaquopy。

路線 B 部署:Android Chaquopy ✓

  • sklearn 有 cp310 wheel,可直接裝
  • build.gradle 加 install "scikit-learn==1.4.0"
  • 用 joblib.load 載入 .pkl
  • 真實 on-device 推論

路線 C/D 部署:Colab Local Runtime

  • tflite-runtime 沒 cp310 wheel → Chaquopy 路線斷
  • 改走 Colab Local Runtime + 本地 webcam
  • W2 已建好的環境直接用
  • 缺點:不是真嵌入式部署 (W11 走 Java TFLite 補回來)

學生看到這個取捨後,能理解「選工具不是看最潮,是看真的能跑」。

W10 作業

分兩部分:Colab 訓練 + Android 部署 + 研究級報告。詳見作業頁。

  • 路線 B HoG+SVM 在 Android 跑通
  • 路線 C/D 在 Colab Local Runtime 跑通
  • 產出 Confusion Matrix 與 baseline 對比表
  • 30 秒測試影片 + 簡易報告

查看完整作業頁 →

學生檢核表

  • 我理解 HoG + SVM 跟 W9 凸缺陷法的差別
  • 我會用 Colab 訓練 Tiny CNN + 存 .tflite
  • 我會用 Transfer Learning 微調 MobileNetV2
  • 我能在 Android 上跑 HoG+SVM 模型
  • 我能畫出 Confusion Matrix 並解讀
  • 我能跟 W9 規則法做正確率對比

下週預告 (W11)

從 ML/DL 進到 SOTA 物件偵測 + 多目標追蹤:

  • RCNN → YOLO 演進
  • YOLOv5 自訓 + Java TFLite API 部署(真嵌入式!)
  • ByteTrack 多目標追蹤
  • Action Recognition